package com.cobra.rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark02_RDD_File1 {
  def main(args: Array[String]): Unit = {
    //准备环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(sparkConf)
    //创建rdd
    //从文件中创建rdd,将文件中集合的数据作为处理的数据源
    //统计的是一个文件的内容
//    val rdd:RDD[String] = sc.textFile("datas/1.txt")
//    rdd.collect().foreach(println)

    //统计整个文件夹的文件
    //读取的结果为元组,第一个元素为路径，第二个元素为内容
    val rdd = sc.wholeTextFiles("datas")
    rdd.collect().foreach(println)


    //关闭环境
    sc.stop()
  }
}
